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Menetelma sanomien sisaltaman informaation esittamiseksi mutti- 
mediapaatelaitteessa, multlmediasanomien valitysjarjestelma ja mutti- 
mediapaatelaite 



Nyt esilla oieva keksinto kohdistuu menetelmaan sanomien sisaltaman 
informaation esittamiseksi multimediapaatelaitteen kayttdliittymassa, 
jossa menetelmassa sanoma kasittaa ainakin yhden komponentin, ja 
joka sanoma valitetaan multimediapaatelartteeseen multimediasano- 

10 mien valitysjarjestelmassa. Keksinto kohdistuu lisaksi multimedia- 
sanomien valitysjarjestelmaan, joka kasittaa valineet sanoman valitta- 
miseksi multimediapaatelartteeseen, joka kasittaa kayttoliittyman sa- 
nomien sisaltaman informaation esittamiseksi, ja kukin sanoma kasittaa 
ainakin yhden komponentin. Keksinto kohdistuu viela lahettavaan mul- 

15 timediapaatelaitteeseen, joka kasittaa valineet sanomien muodostami- 
seksi ainakin yhdesta komponentista, ja valineet sanomien lahettami- 
seksi. Keksinto kohdistuu myos vastaanottavaan multimediapaatelait- 
teeseen, joka kasittaa valineet sanomien vastaanottamiseksi, ja kaytto- 
liittyman sanomien sisaltaman informaation esittamiseksi, ja kukin sa- 

20 noma kasittaa ainakin yhden komponentin. 

Langattomat viestintaverkot ja Intemet-verkko laajenevat nopeasti, ja 
niiden kayttajien lukumaara on kasvussa. Kehittyneiden Internet-palve- 
luiden tuominen langattomien viestintaverkkojen digitaalisiin matkavies- 

25 timiin, kuten ns. mediapuhelimiin, on mahdollista esimerkiksi WAP- 
tekniikan avulla. WAP (Wireless Application Protocol) on avoin stan- 
dardi. joka on suunniteltu tukemaan maailmanlaajuisesti suurinta osaa 
digitaalisista langattomista viestintaverkoista, kuten GSM (Global Sys- 
tem for Mobile communications), GPRS (General Packet Radio Ser- 

30 vice), PDC (Personal Digital Cellular), CDMA IS-95 (Code Division 
Multiple Access), TDMA IS-136 (Time Division Multiple Access), ja 
kolmannen sukupolven verkkoja, kuten WCDMA (Wideband CDMA) ja 
CDMA-2000. Koska WAP-jarjestelma on kehitetty vasta askettain ja 
koska WAP-jarjestelman spesifikaatioissa on maaritelty joissakin ta- 

35 pauksissa vain puitteet eri toteutuksille, ei WAP-jarjestelman! tiettyjen 
toimintojen toteuttamiselle ole olemassa tunnettuja ratkaisuja. ' 
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WAP-jarjestelmassa (kuval) WAP-protokollaa ulkoiseen kommuni- 
kointiin kayttava paatelaite. langaton paatelalte MS (Wireless Terminal, 
Mobile Station), tassa ns. WAP-paatelatte, voi kommunikoida Internet- 
verkon palvelimen 20 (server) kanssa. Eraana esimerkkina tallaisesta 
5 WAP-paatelaitteena kaytettavissa olevasta langattomasta paatelait- 
teesta mainittakoon Nokia 7110. WAP-paatelaitteen naytto on .suhteel- 
lisen pieni, mika rajoittaa kerrallaan naytolla esitettavissa olevan infor- 
maation maaraa. Tama aiheuttaa ongelmia esimerkiksi selattaessa In- 
ternet-kotisivuja, jotka on tyypillisesti suunniteltu esitettavaksi tavallisen 
1 0 tietokoneen naytolla. 

WAP-paatelaitteen ja Internet-verkon valisen kytkennan toteuttaa 
WAP-yhdyskaytava 15, joka toimii viestien valityselimena WAP-paate- 
laitteen MS ja Internet-verkon 18 valilla. WAP-yhdyskaytava 15 muun- 

15 taa WAP-paatelaitteen MS Internet-verkkoon 18 suuntaamat viestit 
tarvittaessa jonkin Internet-protokollan, kuten TCP/IPiarotokollan 
(Transmission Control Protocol / Internet Protocol) mukaisiksi viestelksi. 
Vastaavasti Internet-verkosta 1 8 langattomaan verkkoon 12 WAP- 
paatelaitteelle MS osoitetut viestit muutetaan tarvittaessa WAP-yhdys- 

20 kaytavassa 15 WAP-protokollan (esim. WSP, Wireless Session Proto- 
col) mukaisiksi viestelksi. WAP-paate MS voi sinansa olla mika tahansa 
laite, joka kayttaa WAP-protokollaa ulkoiseen kommunikointiin, kuten 
solukkoverkon matkaviestin tai langattomaan verkkoon 12 esimerkiksi 
solukkoverkon matkaviestimen valityksella yhteydessa oleva tietokone- 

25 paate. WAP:n tukemia radiotien yli tapahtuvaan informaation siirtoon 
tarkoitettuja viestintamuotoja kutsutaan siirtoteiksi (bearer). Naita ovat 
mm. eri WAP:n tukemissa verkoissa lyhytsanomaviestit (SMS. Short 
Message Service), datapuhelut (CSD, Circuit Switched Data) ja paketti- 
radio- eli GPRS-palvelut. USSD-palvelu (Unstructured Supplementary 

30 Service Data) soka muut WAP-spesifikaatioissa maaritellyt siirtotjet. 

WAP-jarjestelma on yhteyskaytantdjensa eli protokolliensa osalta hie- 
rarkkinen jarjestelma. Seka WAP-paatelarte etta WAP-yhdyskaytava 
kasittavat ohjelmallisesti toteutettavan WAP-protokollapinon, joka kasit- 
35 taa maaratyt WAP-protokollakerrokset. WAP-protokollakerroksia ovat 
mm. WAE-kerros (Wireless Application Environment), WSP-kerros 
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(Wireless Session Protocol), WTP-kerros (Wireless Transaction Proto- 
col) ja WDP-kerros (Wireless Datagram Protocol). WAP-paatteen ja 
WAP-yhdyskaytavan vastaavat WAP-protokollakerrokset keskustelevat 
keskenaan luotettavan tiedonsiirron toteuttamiseksi WAP-paatteen ja 
5 WAP-yhdyskaytavan valilla maaratyn siirtotien yll. 

Internet-verkkoon yhteydessa olevan tietokonepaatteen kayttajilla on jo 
pitkaan ollut mahdollisuus hakea multimediakomponentteja, kuten sah- 
koisessa muodossa olevia lyhyita vldeolelkkeita (video clip) ja aanileik- 

10 keita (audio clip), tietokonepaatteeseensa joltakin Intemet-verkon pal- 
velimelta (server). Tiedonsiirtonopeuksien kasvaessa ja matkaviestin- 
ten ominaisuuksien parantuessa kiinnostus multlmediasanoman vali- 
tyspalvelua kohtaan on nyt herannyt myos langattomassa verkossa. 
Esimerkiksi WAP-jarjestelman yhteydessa ei kuitenkaan toistaiseksi ole 

15 esitetty ratkaisua multimediasanoman eslttamisen toteuttamiseksi. 

Intemet-tietoverkossa on tunnettua kayttaa hypertekstipohjaista esitys- 
muotokielta HTML (Hypertext Markup Language), jolla voidaan ilmaista 
Internet-sivuilla esitettavaa multimediainformaatiota varten mm. sijatnti, 

20 sisalto, vari ja koko. HTML-kieli el kuitenkaan tarjoa mahdollisuutta 
multimediakomponenttlen vaikutusajan, kuten tekstin nayttoajan tai aa- 
nen soittoajan maarittamiseen. Mydskaan kalvoesitysten, joissa multi- 
mediaesitys koostuu useista sivuista, maarittely ei ole mahdollista ta- 
man HTML-kielen nykyisin tunnetuilla versioilla. Kuitenkin erilaisten 

25 mainosten ja muun informaation esittamisen tehostamiseksi on tarve 
saada aikaan sivujen sisaltoOn mm. muuttuvia kohtia seka tarve kytkea 
uselta sivuja yhdeksi esitykseksi. Viime aikoina on kehitetty joitakin rat- 
kaisuja, kuten Java-ohjelmointikieli, joilla on mahdollista toteuttaa jon- 
kinlaisia muuttuvia tehosteita. Tallaisten ratkaisujen epakohtana WAP- 

30 paatelaitteiden kannalta on kuitenkin se, etta niiden toteuttaminen vaatii 
paatelaitteessa suhteellisen suurta prosessointi- ja muistikapasiteettia. 
T§ma rajoittaa JAVA-ohjelmointikielen kayttdonottoa erityisesti kannet- 
tavissa paatelaitteissa. JAVA-ohjelmointikielella toteutetuissa esityksis- 
sa siirretaan varsinaisen esltysinformaatlon lisaksi myos JAVA-ohjelma, 

35 jolla informaatio voidaan esittaa. 
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Kannettavien multimediapaatelaitteiden kaytdn nopea lisaantyminen li- 
saa tarvetta toteuttaa monipuolisten sanomien, kuten multimediasano- 
mien, esittaminen multimediapaatelaitteessa. 

5 Nyt esilla olevan keksinnon eraana tarkoituksena on aikaansaada me- 
netelma sanomien esittamiseksi ja multimediapaatelaite, jossa sanomia 
voidaan esittaa. Nyt esilla olevan keksinnon mukaiselle menetelmalle 
on tunnusomaista se, etta menetelmassa muodostetaan esitysohjeisto, 
joka sisaltaa ainakin yhden sanomaan liitetyn komponentin esittami- 

10 seen liittyvaa tietoa, etta mainittuun esitysohjeistoon liitetaan viittaus ai- 
nakin yhden komponentin esittamiseen liittyvan tiedon sijainnista maini- 
tussa sanomassa, ja etta mainittu esitysohjeisto liitetaan mainittuun sa- 
nomaan. Nyt esilla olevan keksinnon mukaiselle multimediasanomien 
valitysjarjestelmalle on tunnusomaista se, etta Jarjestelma kasittaa vali- 

15 neet esitysohjeiston muodostamiseksi sanomaan, joka esitysohjeisto 
kastttaa ainakin yhden sanomaan liitetyn komponentin esittamiseen 
liittyvaa tietoa, etta mainittuun esitysohjeistoon on liitetty viittaus ainakin 
yhden komponentin esittamiseen liittyvan tiedon sijainnista mainitussa 
sanomassa, jolloin jarjestelma kasittaa valineet mainitun esitysohjeiston 

20 liittamiseksi mainittuun sanomaan. Nyt esilla olevan keksinnon mukai- 
selle lahettavalle multimediapaatelaitteelle on tunnusomaista se, etta 
multimediapaatelaite kasittaa lisaksi valineet esitysohjeiston muodos- 
tamiseksi sanomaan, joka esitysohjeisto kasittaa ainakin yhden sano- 
maan liitetyn komponentin esittamiseen liittyvaa tietoa, ja johon esitys- 

25 ohjeistoon on liitetty viittaus ainakin yhden komponentin esittamiseen 
liittyvan tiedon sijainnista mainitussa sanomassa. Nyt esilla olevan 
keksinnon mukaiselle vastaanottavalle multimediapaatelaitteelle on 
viela tunnusomaista se, etta multimediapaatelaite kasittaa lisaksi vali- 
neet sanomaan muodostetun esitysohjeiston tulkitsemiseksi, joka esi- 

30 tysohjeisto kasittaa ainakin yhden sanomaan liitetyn komponentin esit- 
tamiseen liittyvaa tietoa, ja johon esitysohjeistoon on liitetty viittaus ai- 
nakin yhden komponentin esittamiseen liittyvan tiedon sijainnista maini- 
tussa sanomassa, jolloin multimediapaatelaite kasittaa valineet maini- 
tun esitysohjeiston selvittamiseksi mainitusta sanomasta. Keksinto pe- 

35 rustuu siihen ajatukseen, etta sanomiiri liitettyjen komponenttien esitys- 
parametrit liitetaan sanomaan, ja nama parametrit muodostetaan jolla- 
kin kuvauskielella. 
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Nyt esilla olevalla keksinndlla saavutetaan merkittavia etuja tunnetun 
tekniikan mukaisiln ratkaisuihin verrattuna. Keksinndn mukaista mene- 
telmaa sovellettaessa voidaan langattomassa multimediapaatelait- 
teessa esittaa sajnomia ja lisaksi sanomiin voidaan muodostaa ajalli- 
sesti muuttuvia komponentteja. Taman toteuttaminen ei vaadi niin 
suurta prosessointikapasiteettia ja muistin maaraa kuin tunnetun teknii- 
kan mukaisia ratkaisuja kaytettaessa. Keksinndn mukaiseila menetel- 
malla voidaan vijela muodostaa useista sivuista koostuvia esityksia 
esitettavaksi multimediapaatelaitteessa. 

Keksintda selostetaan seuraavassa tarkemmin vlltaten samalla oheisiin 
piirustuksiin, joissa 



15 kuval esittaa erasta tekniikan tason mukaista mallia WAP-jarjes- 



telmasta, 



20 



25 



kuva2 havaiijnollistaa keksinndn eraan edullisen suoritusmuodon 
mukaisen menetelman toteutusta WAP-jarjestelmassa, 

kuva 3 havainnollistaa keksinndn mukaisen menetelman toteutta- 
van langattoman viestimen oleellisia osia, 

kuva4a esittaa lohkokaaviona multimediasanoman muodostuksen 
toiminnallisia lohkoja lahettavassa multimediapaatelaittees- 
sa, I 



30 



35 



kuva 4b esittaS lohkokaaviona multimediasanoman tulkinnan toimin- 
nallisia lohkoja vastaanottavassa multimediapaatelaitteessa, 

kuva 5a esittaa eraan ilmoitussanoman karkeaa rakennetta, 

kuva 5b esittaa eraan yhteydenmuodostussanoman karkeaa raken- 
netta, 

kuva 6a esittaa erasta esimerkkia multimediasivusta, 
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kuva6b esittaal erasta keksinnon edullisen suoritusmuodon mukai- 

i 

sella menetelmalla muodostetun multimediasanoman kar- 
keaa rakennetta, ja 

i ■ 

5 kuva 6c esittaa 1 erasta toista keksinnOn edullisen suoritusmuodon 
mukaisella menetelmalla muodostetun multimediasanoman 

karkeaa rakennetta. 

i 
I 

Seuraavassa keksintoa selostetaan kayttamalla esimerkkeina multime- 
10 diasanomia, joissa on yksi tai useampi multimediakomponentti. Keksin- 
toa ei kuitenkaan ole rajoitettu ainoastaan multimediasanomiin, vaan 
sanomina voidaan kayttaa muitakin sanomia, joissa on yksi tai useampi 
komponentti. Tartan komponentin ei myoskaan tarvitse olla multime- 
diakomponentti, yaan se voi olla myos muu informaatiota sisaltava 
15 komponentti. 

i 

Kuvassa 3 on hajainnollistettu keksinnon eraan edullisen suoritusmuo- 
don mukaista menetelmaa soveltavan langattoman paatelaitteen MS 
toiminnalle olennaisia osia. Langaton paatelaite MS kasittaa suorittimeri 

20 MPU ja suorittimeen toiminnallisesti yhdistetyt osat: muistin MEM, kayt- 
tollittyman Ul Ja radlo-osan RF. Suoritln MPU on edullisesti mikropro- 
sessori, mikrokonjtrolleri tai digitaalinen signaalinkasittely-yksikko (DSP, 
Digital Signal Processor). Muisti MEM kasittaa edullisesti haihtumatonta 
(non-volatile) muijstia (ROM, read only memory) ja kayttomuistin (RAM, 

25 random access memory). Radio-osa RF voi lahettaa radiotaajuisia sig- 
naaleja, kuten WAP-protokollan mukaisia sanomia, ja vastaanottaa ra- 
diotaajuisia signaaleja, kuten multimediasanomia, antennin ANT vali- 
tyksella. Kayttdliittyma Ul tarjoaa edullisesti kayttajalle nayton ja nap- 
paimiston langattoman paatelaitteen MS kayttamiseksi. 



30 



Langattoman paatelaitteen MS ohjelmisto, myds multimediasanomien 
ja esittamiseen liittyva ohjelmisto, on tyypillisesti tal- 



muodostamiseen 



lennettu pysyvaan muistlin. Suoritin MPU ohjaa ohjelmiston perusteella 
langattoman paatelaitteen MS toimintaa, kuten radio-osan RF kayttoa, 
35 viestien esrttamista kayttoliittymalla Ul ja kaytto Nitty ma Ita Ul vastaan- 
otettavien syottelden lukemista. Kayttoliittyrricl Ul sisaltaa edullisesti 
nayton DP. nappaimiston KB ja audiovalineet AUDIO. Ohjelmisto, joka 

i 

i 
i 

I 
I 
I 

I 
i 
i 
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voidaan toteuttaaj monella eri tavalla, kas'rttaa edullisesti ohjelmaloh- 
koja, jotka vastaayat eri toimenpltelden toteuttamisesta. Nafta toimenpi- 
teita ovat esimerkiksi toimenpiteet, jotka liittyvat multimediasanomien 
kasittamien muttlmedlakomponenttlen nayttamlseen kayttajalle seka 
viestien lahettamiseen ja vastaanottamiseen liittyvat toimenpiteet. Mul- 
timediasanomanvalityspalvelun toteuttaa langattomassa paatelait- 
teessa MS suoritin MPU yhdessa langattoman pSatelaitteen ohjelmis- 
ton ja muistin MEM kanssa. Kayttomuistia suoritin MPU kayttaa valiai- 
kaisena puskurimuistina tietoja prosessoidessaan. 



Kuvan 1 mukaindn WAP-jarjestelma on esitetty edella tekniikan tason 
kuvauksen yhteydessa. Oheisessa kuvassa 2 on havainnollistettu mul- 
timediasanomanvalityspaJvelua tilanteessa, jossa WAP-protokoliaa ul- 
koiseen kommunikointiin kayttava langaton paatelaiteMS on tilannut 

15 (subscribe) multimediasanoman valityspalvelun multimediasanomapal- 
velukeskukselta MMSC (Multimedia Message Service Center). Multi- 
mediasanomapalvelukeskus MMSC on verkkoelementti, paJvelin, joka 
voi sijaita esimerkiksi solukkoverkossa tai Intemet-verkossa. Multlme- 
diasanomapalvelukeskus MMSC toimii multimediasanoman valityspal- 

20 velussa elimena, jjoka tallentaa langattomaJle paatelaitteelle MS osoite- 
tun multimediasanoman muistiinsa. Multimediasanomapalvelukeskus 
MMSC lahettaa ilmoitussanoman multimediasanoman saapumisesta 
langattomalle paatelaitteelle MS, kun tama on tavortettavissa. 

i 

25 Multimediasanorriapalvelukeskus MMSC kommunikoi langattoman 
paatelaitteen MS kanssa WAP-yhdyskaytavan 15 kautta. Fyysisesti 
multimediasanomapalvelukeskus MMSC sijaitsee edullisesti samassa 
Internet-verkon osassa kuin WAP-yhdyskaytava 15. Tyypillisesti multi- 
mediasanomapalyelukeskuksen MMSC ja WAP-yhdyskaytavan 15 va- 

30 linen kommunikojnti toteutetaan Internet-verkon protokollien (IP-proto- 
kollien) mukaisesti. Naita ovat esimerkiksi TCP/IP ja HTTP 1.1. 

Kun multimediasanomapalvelukeskukselta MMSC multimediasanoman 
valityspalvelun tilanneelte langattomalle paatelaitteelle MS on osoitettu 
35 multimediasanoma, joka vol sisaltaa yhden tai useampia muttimedia- 
komponentteja, s'aapuu multimediasanomapalvelukeskukseen MMSC, 
tallentaa se multimediasanoman muistiinsa ja lahettaa langattomalle 



i 

i 



Saapunut : 17/ 1/ O 15:15; 03 2608202 -> PAJREK ASIAKASPALVELU; Sivu Q 

17/01 00 15:18 FAX 03 283^62 TAMPEREEN PATENT -> PRH @009 



I 

1 8 



paStelaitteelle ilmoitussanoman 30 (notification message) tallennetusta 
multimediasanomasta ilmoittamiseksi. Langattoman paatelaitteen MS 
kayttaja voi taman jaikeen noutaa multimediasanoman parhaaksi kat- 
somanaan ajankohtana, tai sanoman voidaan IShettaa automaattisesti 
5 langattomaan paatelaitteeseen MS, ilman kaytt&jan toimenpiteita. Mul- 
timediakornponentit voivat olla esim. sahkoisessa muodossa olevaa 
tekstia, kuvia, valokuvia, aanileikkeita tai videoleikkeita. Yksi multime- 
diasanoma voi sisaltaa myos eri tyyppisla multimediakomponentteja, 

! 

10 Keksinnon eraassa edullisessa suoritusmuodossa ilmoitussanoman 30 
toteuttamiseksi kaytetaan WAP-jarjestelmassa sisaltotyyppia, jota tassa 
nimitetaan MMN:ksi (Multimedia Message Notification). MMN on sisaJ- 
totyyppi, joka maaritetaan siten, etta se sallii sekS tekstimuotoisen etta 
binaarimuotoisen itiedon lahettamisen samassa sisaftotyypissa. MMN- 

15 sisaltotyypille maaritetaan edullisesti seka XML-formaattia (Extensible 
Markup Language) oleva Intemet-yhteensopiva tekstimuotoinen esftys- 
tapa etta WAP:n binaarikoodauksen mukainen binaariformaatti. Yksi 
mahdollinen MMN-tyyppisen ilmoitussanoman 30 karkea rakerine on 
esitetty oheisessa kuvassa 5a, jossa ilmoitussanoma 30 kasittaa ylei- 

20 sen osuuden "Gelneral Information" 36, kentat 37 multlmediasanomien 
kSsittamlen multimediakomponenttlen flolta kuvan 5a esimerkissa on 
kaksi) ominaisuuksien ilmaisemiseen. 

i 

Kuvassa 4a on esitetty pelkistettyna lohkokaaviona multimediasano- 
25 mien muodostusta lahettavassa laitteessa, kuten multimediapaatelait- 
teessa MS' ja kuvassa 4b multimediasanomien esittamista multimedia- 
paatelaitteessa, kuten langattomassa paatelaitteessa MS. Multimedia- 
sanomien muodostusta esrttaa muokkauslohko MOD, joka voi olla 
esim. paatelaitteen kayttoliittyma Ul. Se sisaltaa tarvittavat toiminnot 
30 multimediakompojnenttien, kuten kuvien, tekstin, aanen ja/tai vldeon 
esittamiseen ja muokkaamiseen. Tai loin multimediaesityksen muodos- 
taja voi rakentaa multimediash/un kokoamaJla siihen haluamansa mul- 
timediakomponQntit, muokkaamalla niita tarvittaessa ja sijoittamalla ne 
haluttuihin paikkcjihin. Multimediakomponentit on tallennettu esim. tie- 
35 dostoiksi, joita voidaan hakea esim. multimediapaatelaitteen MS muisti- 
valineista MEM, kuten kiintolevylta (ei esitetty) tai Internet-tietoverkosta, 
esimerkiksi palve imelta 20, tai multimediakomponentteja voidaan tehda 



i 
i 
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esim. kirjoittamall^ haluttua tekstia, ottamalla kameralla kuvia, nauhoit- 
tamalla aania, jne. Kuvassa 6a on esitetty eras esimerkki tallaisesta 
multimediasivusta. Kuvan 6a mukainen muttimediasivu MP kasrttaa 
keskelle sivua sijciltetun kuvan PIC1 , joka on tallennettuna esim. tiedos- 
tossa " PIC1.jpg" seka kuvan ylapuolella tekstirivin TXT1, joka on tal- 



lennettuna esim. 



Sen jalkeen kun 



ledostossa " TXT1 .txT. 



muttimediasivu on muokattu halutuksi, se slirretaan 
koontilohkoon COMP multimediatiedoston muodostamiseksi. Tahan 
10 multimediatiedostDon tallennetaan tieto siita, mita komponentteja se si- 
saltaa seka ohjeet komponenttien esittamiseksi vastaanottajan multi- 
mediapaatelaitteessa halutuila tavalla. Koontilohkon COMP muodos- 
tama koontitiedosto edullisesti tallennetaan sanoman muodostavan 
laitteen, kuten multimediapaatelaitteen muistivalineisiin MEM. Tassa 
15 keksinnSn edullisessa suoritusmuodossa koontitiedoston formaattina 
kaytetaan sinansa tunnettua SMIL-formaattia (Synchronized Multimedia 
Integration Language). Koontitiedosto tallennetaan edullisesti tekstitie- 
dostona, kuten SMIL1 .txt, mutta voidaan tallentaa muussakin formaa- 
tissa, kuten binaarimuodossa. Kuvan 6a multimediasivun eraasta esi- 



merkista muodos 
raava: 



etiin koontitiedoston sisaltO SMIL-formaatissa on seu- 



<smil> 
<head> 
<layout> 

<root-layout vtatth="l60" height="1607> 
<region id-"up" width="160" height="20" left="0" top="107: 
<region id="center" width="160" height="120" left="0" top= 
</layout> 

</head> 

<body> 

<img src=" PlCjl .jpg" region="center"/> 
<text src=" TXT1 .txt" region="up7> 
</body> 
</smil> 



'/> 

top="407> 
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Kulmasulkeissa (tag) merkityt tekstit ovat SMIL-formaatih mukaisia tie- 
totyyppeja seka niihin mahdollisesti lifttyvia parametreja. Tiedostossa 
on aluksi <smil> -iietotyyppi, joka ilmoittaa kyseessa olevan SMIL-for- 
maatin mukaisen koontitiedoston SMIL. Seuraavaksi on maaritetty esl- 
tysparametreja, kjuten naytt&alueen leveys (widths 60) ja korkeus 
(height=160), seka tasta nayttoalueesta kaksi nimettya aluetta, niiden 
koko ja sijainti: "u|p" ja "center". Alueen "up" leveydeksi on maaritetty 
160 ja korkeudeksi 20. Lisaksi taman alueen vasemman ylakulman si- 
jainniksi on maaritetty vaakasuunnassa 0 (vasen reuna) ja pystysuun- 
nassa 10. Mittayksikoina ovat edullisesti pikselit, mutta myos muita yk- 
sikorta voidaan kayttaa, kuten prosentteja nayttdalueen koosta. Alueen 
"center" leveydeksi on maaritetty 160, korkeudeksi 120 ja vasemman 
ylakulman sijainni csi 0, 40. Taman esitysparametriosan jalkeen seuraa 
tleto-osa (body), jossa ilmoitetaan, mita multimediakomponentteja sivu 
15 sisaltaa ja mista ne loytyvat. Lisaksi visuaalisista komponenteista 
(kuva, video, teksti) ilmoitetaan, mihin kohtaan slvua ne sijoitetaan. 
Tassa esimerkissa on siis kaksi tiedostoa, joista kuvatiedosto sijoite- 
taan alueelle "center" ja tekstitiedosto alueelle "up". 

20 Taman koontitedcston SMIL ja siihen liittyvien komponenttien siirto vas- 
taanottajalle tehdaan multimediasanoman avulla. Tama muodostetaan 
keksinnon eraan jsdullisen suoritusmuodon mukaisessa menetelmassa 
seuraavasti. Lahjettavassa multimediapaatelaitteessa MS' koontitie- 
dosto SMIL siirtjetaan sanomanmuodostuslohkoon MSG. Muistista 
25 MEM on varattu alue sanomapuskuria SBUF varten, johon lahetettava 
muttimediasanoma muodostetaan. Kuvassa 6b on esitetty eras esi- 
merkki tallaisesta multimediasanomasta pelkistetysti. Multimediasano- 
man alkuun, tai muuhun maarattyyn kohtaan multimediasanomaa, lisa- 
taan otsikkokentta HDR, joka sisaltaa mm. sanoman vastaanottajan 
30 osoitetietoja, lahettajan osoitetietoja seka viittauksen REF koontitiedos- 
ton sijaintiin muodostettavassa sanomassa. Otsikkokentan lisaksi sa- 
noman datakenttjaan D liitetaan multimediakomponentit, jotka tassa 
kuvatiedosto ja tekstitiedosto. Tiedostot liitetaan joko 
ne voidaan kompressoida tai muuntaa johonkin muu- 
35 hun muotoon. Ta lOin sanomassa edullisesti ilmoitetaan se, missa muo- 



esimerkissa ovat 
sellaisenaan, tai 
hun muotoon. Ta 



teessa voidaan 



dossa tiedostot on iiitetty, jotta vastaanottavassa multimediapaatelait- 



suorittaa muuntamiselle vastaava kaanteinen 
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toimenpide alkuperaisen tiedostomuodon palauttamiseksi. Multimedia- 
sanomaan iiitetaan viela koontitiedosto. Tassa vaiheessa koontitedos- 
tossa mahdollises i olevat viittaukset multimediakomponenttitiedostoihin 
muunnetaan viitta uksiksi ao. multimediakomponentteihin tassa sano- 
massa. Kuvaan 6b on merkitty nuolilla R1 ja R2 naita sanoman sisaisia 
viittaukaia. 



Multimediasanomassa voidaan valittaa myos useista multimediasivuista 
koostuvia multimedlaesltyksla. Kutakin sivua varten on sopivimmin 

10 muodostettu oma koontitiedosto, joihin ao. sivun esitysohjeisto on liitet- 
ty. Tallaiset multirnediaesitykset sisaltavat esimerkiksi erilaisia kuvia ja 
teksteja, joita sanoman vastaanottaja voi selata joko tietyssa jarjestyk- 
sessa tai haluanr assaan jarjestyksessa. Talloin multimediasivulle on 
muodostettu linkkeja eli viittauksia seuraavaan sivuun, edelliseen si- 

15 vuun, alkuun, ja/tai loppuun. Nama viittaukset on myos tallennettu 
koontitiedostoihin. Tall5in multimedlasanomaa muodostettaessa nama 
viittaukset muutetaan vastaamaan ao. sivun komponenttien sijaintia 
sanomassa. Kuvassa 6c on esitetty eras esimerkkJ tallaisesta multime- 
diasanomasta. Se on muodostettu kahdesta multimediasivusta, joita 

20 vastaavat koontitiedostot on merkitty viittein SMIL1 ja SMIL2, joista en- 
simmaisessa on v iittaus (nuoli R3) toiseen sivuun. Naiden sivujen kom- 
ponentit (viittaukspt esitetty nuolilla R1 — R5) ja koontitiedostot on myos 
liitetty tahan sanomaan. On selvaa, etta eri slvuiila olevat viittaukset 
voivat kohdistua myos samaan komponenttiin. 

25 

Multimediakomponentin sisaltaman informaation sijasta voidaan esitys- 
ohjeistoon liittaa jiakuosoite, jolloin multimediakomponentti haetaan ta- 
man hakuosoitteen perusteella siina vaiheessa, kun multimediasano- 
man sisalto esitetaan vastaanottavassa paatelaitteessa. 

30 

Sen jalkeen kun multimediasanoma on vaJmis lahetettivaksi, suorite- 
taan multimediasanoman lahetys sinansa tunnetusti multimediasano- 
mapah/elukeskukseen MMSC. Multimediasanomapalvelukeskus MMSC 
tutkii sanoman olsoitetiedoista sen, mille langattomalle paatelaitteelle 
35 MS kyseinen sanloma on tarkoitettu. Osoitetietona voi olia esim. puhe- 
linnumero, IP-osoite tai URL (Uniform Resource Locator). Sen jalkeen 
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kun sanoman vastaanottava paatelaite on setvilla, multlmedlasanoma- 
palvelukeskus MMSC lahettaa ilmortussanoman 30 WAP-yhdyskayta- 
van 15 kautta langattomalle paatelaitteelle MS, jossa ilmoitetaan lan- 
gattomalle paatelaitteelle MS osoitetun muttimediasanoman saapumi- 
sesta multimediasanomapalvelukeskukseen MMSC. 



30 



llmoitussanoma 
(connectionless) 
velussa, jollalnen 
palvelu (SMS, 
taanottajalle ei 
mukaisessa 
teeseen MS 
oriented) palvelua 



paatelaitteen MS 
mapalvelukeskus 



lahetetaan edullisesti kayttamalla ns. yhteydetonta 
palvelua, jota mm. WAP tukee. Yhteydettomassa pal- 
on mm. GSM-jarjestelmasta tunnettu lyhytsanoma- 
Short Message Service), sanoman lahettarninen vas- 
edellyta yhteyden luomista. Nyt esilla olevan keksinnon 
multirnediasanomien siirtamisessa langattomaan paatelalt- 
kaytetaan kuitenkin edullisesti yhteydellista (connection 



Multimediasanomapalvelukeskus MMSC voi tutkia sen, mtta multi- 
mediakomponenttjeja sanoma sisaltaa ja verrata niita vastaanottavan 

multimediaominaisuuksiin. Talloin multimediasano- 
MMSC voi joissakin sovelluksissa jattaa lahettamatta 



sellaiset komponentit, joita vastaanottava multimediapaatelaite MS ei 
kykene kasittelem'aan. Tassa kuitenkin oletetaan, etta vastaanottavaan 
multimediapaatelaitteeseen MS lahetetaan muttimediasanoman kaikki 
komponentit. 



Vastaanotettuaan 
aloittaa ensin yh 



mainitun ilmoitussanoman 30 langaton paatelaite MS 
eyden muodostuksen multimediasanomapalvelukes- 
kukseen MMSC (WAP WSP CONNECT), mikali langattoman paatelait- 
teen MS ja multiinediasanomapalvelukeskuksen MMSC valilla ei silla 
hetkella ole yhteytta. Tyypillisesti yhteyden muodostus suoritetaan si- 
paatelaite MS avaa WAP:sta sinansa tunnetulla ta- 
valla WSP-lstunnbn (WSP session) WAP-yhdyskaytavan 15 kanssa ja 
WAP-yhdyskaytava 15 avaa edelleen eslmerkiksi IP-yhteyden multi- 
mediasanomapalvelukeskuksen MMSC kanssa. Tieto langattoman 

valitsemasta ja siis avattavassa WSP-istunnossa 
kaytettavasta siirtotiesta lahetetaan langattomalta paatelaitteelta MS 
WAP-yhdyskaytavalle 15 WAP:sta tunnetulla tavalla WSP HEADER - 
kentassa Bearer indication -arvona. Mainitun tiedon lahettarninen 



Saapunut: 17/ 1/ O 15:17; 03 2866262 - » PATREK ASIAKASPALVELU; SlVU 14 

11/01 '00 15:19 FAX 03 28^p2 TAMPEREEN PATENT - PRH ©014 



13 



tapahtuu langattoman paatelaitteen MS ja WAP-yhdyskaytavan 15 vali- 
sen keskustelun aikana WSP-istuntoa avattaessa esim. yhteydenmuo- 
dostussanomassa 40 (kuva 5b). 

5 Yhteydenmuodostussanomassa 40 valitetaan istunnon muodostami- 
sessa tarvittavaa tietoa 42. Multimediasanomapalvelukeskus MMSC 
vastaanottaa yhteydenmuodostussanoman 40. Multimediasanomapal- 
velukeskus MMSC vastaa yhteydenmuodostussanomaan kuittaussano- 
malla, jossa langattomalle paatelaitteelle MS ilmoitetaan siita, voi- 
10 daanko yhteys muodostaa. Yhteydenmuodostus voi epaonnistua esi- 
merkiksi silloin, kun multimediasanoman vastaanottajaksi osoitetun 
paatelaitteen kayttajalla ei ole tilaajasopimusta multimediasanomapal- 
veluun, puhelinliittyma on suljettu esim. maksamattomien laskujen 
vuoksi, tms. 

15 

Sen jalkeen kun yhteys on saatu muodostettua, voidaan aloittaa multi- 
mediasanoman valitys multimediasanomapalvelukeskukselta MMSC 
iangattomaan paatelaitteeseen MS. Langaton paatelaite MS voi radio- 
resurssien optimoimlseksi valita kunkin eri multimediakomponentin 
20 siirtamiseen tarkoituksenmukalsimman siirtotien. 

Sen jalkeen kun vastaanottava multimediapaatelaite MS on vastaanot- 
tanut multimediasanoman, siirrytaan sen kasittelyyn. Vastaanottovai- 
heessa sanoma on purettu vastaanottolohkossa RMSG ja tallennettu 
25 sopivimmin muistiin MEM muodostettuun sanomapuskuriin RBUF. Sa- 
noman kasittely suoritetaan esim. suorittlmen MPU sovellusohjelmls- 
toon muodostetussa tulkintalohkossa IP. Tulkintalohkolle IP valitetaan 
multimediapaatelaitteen multimediaominaisuudet, kuten nayton reso- 
luutio, variominaisuudet, aaniominaisuudet, jne. 

30 

Tulkintalohko IP tutkii sanoman otsikkokentasta viittauksen koontitie- 
doston sijaintiin ja aloittaa koontitiedoston kasittely n. Tassa vaiheessa 
suoritetaan koontivaiheeseen nahden olennaisesti kaanteiset toimenpi- 
teet. Koontitiedoston parametreista ilmenee multimediasanoman esi- 
35 tysparametrit, joita tulkintalohko IP vertaa multimediapaatelaitteen MS 
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multimediaominaisuuksiin sen selvittamlseksi, sisaltaako multimediasa- 
noma sellaisia komponentteja, joita multimediapaatelaitteessa MS ei 
voida esittaa. Talloin tallaiset komponentit voidaan sivuuttaa. 

5 EsHysparametrien selvityksen ja ominaisuuksien vertallun Jalkeen tul- 
kintalohko IP suorittaa tieto-osan, eli multimediakomponenttien kasltte- 
lyn. Kayttaen edella esftettya eslmerkkia koontitiedostona, tieto-osassa 
on kuvakomponentti ja tekstikomponentti. Tall5in tulkintalohko IP tutkii 
ao. komponenttien vlittaukset koontitiedostosta. Kuvakomponentin tle- 

1 0 dot tulkintalohko IP siirtaa multimediasanomasta kuvamuistiin DMEM, 
joka on muodostettu edullisesti langattoman paatelaitteen muistivali- 
neisiin MEM, sellaiseen kohtaan, joka vastaa koontitiedostossa maari- 
tettya kuvan esityssijaintia. Tekstitiedoston tulkintalohko IP siirtaa nay- 
tdnohjaimelle (ei esitetty), jossa tekstista muodostetaan kayttoliittyman 

15 Ul naytolle DP vastaava visuaalinen informaatio (teksti). Mahdollisen 
aanikomponentin tapauksessa tulkintalohko IP siirtaa audioinformaation 
kayttoliittyman Ul audiovalineisiin AUDIO, jossa suoritetaan audioinfor- 
maation muuntaminen kuultavaksi aaneksi sinansa tunnetusti. 

20 Sellaisten multimediasanomien kasittelyssa, jotka sisaltavat useita mul- 
timediasivuja, toimitaan edullisesti seuraavasti. Tulkintalohko IP etsii 
ensimmaisena esitettavan sivun tiedot ja suorittaa sivun tulkinnan, ku- 
ten edella on esitetty. Taman jalkeen tulkintalohko jaa odottamaan si- 
vun vaihtokaskya, jonka esim. kayttaja antaa kayttoliittyman Ul nap- 

25 paimistolla KB. Sivunvaihtokaskyn jalkeen tulkintalohko hakee seuraa- 
van sivun tiedot ja tulkitsee ne, jne. Toisaalta sivujen vaihtuminen voi- 
daan myos automatisoida maarittamalla kullekin sivulle nayttoaika. 
Talloin multimediapaatelaitteessa MS mitataan aikaa ja nayttoajan 
paatyttya ilmoitetaan tulkintalohkolle IP sivun vaihtokasky. 

30 

Multimediaesityksessa voidaan myos komponentille maarittaa vaiku- 
tusaika, kuten kuvan tai tekstin nayttdaika tai aanen toistoaika. Lisaksi 
eri komponentteja voidaan tahdistaa ajallisesti keskenaan . Tallaisissa 
tilanteissa koontitiedostoon lisataan komponentille myos tieto vaikutus- 
35 ajasta ja tarvittaessa mytis tieto eri komponenttien keskinaisesta tahdis- 
tuksesta, esim. komponentin esittamisen aloitushetki suhteessa sivun 
esityksen aloitushetkeen 
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Vaikka edella kuvattiin keksinnon edullista suoritusmuotoa, jossa esi- 
tysohjeisto muodostettiin sanoman lahettSvassa pSatelartteessa MS', 
voidaan keksintda soveltaa myds siten, etta esitysohjeisto kootaan 
5 multimediasanomapalvelukeskuksessa MMSC ennen sanoman lahet- 
tamista vastaanottavalle paatelaitteelle MS. Tassakin tapauksessa 
multimediaesltys voidaan muodostaa lahettavassa paatelaitteessa MS', 
josta tieto multimediaesityksen slsallosta esitysohjeiston kokoamista 
varten vaiitetaan multimediasanomapalvelukeskukseen MMSC. 

10 

On selvaa, etta edella on esitetty vain suppea joukko erilaisista multi- 
mediasanomien mahdollisista sisalloista, mutta nyt esilla olevaa keksin- 
toa ei ole rajoitettu ainoastaan tassa esitetty ih in esimerkkeihin. 

15 Keksinto voidaan toteuttaa ohjelmalllsesti tekemSIIS tarvittavat muutok- 
set ohjelmakoodiln langattomassa paatelaitteessa MS ja tarvittaessa 
rnyds multimediasanomapaJvelukeskuksessa MMSC. Kyseiset tietoko- 
neohjelmatuotteet voidaan tallentaa tietovaiineelle, eslmerkjksi muistiin, 
niita voidaan siirtaa ja ne voidaan ajaa esimerkiksi tietokoneessa tai 

20 matkapuhelimen mikroprosessorissa. 

Multimediapaatelaitteessa MS, MS' voi olla toteutettu myos kayttojarjes- 
telmatoimintoja, Kayttojarjestelma on toteutettu suorittimen ohjelmakas- 
kyina. Kayttojarjestelma huolehtii suurelta osln multimediapaatelaitteen 

25 MS, MS* toimintojen ohjauksista, ajoituksista, valvonnasta jne. Lisaksi 
kaytt6jarjestelma huolehtii koontilohkon toimlnnan kaynnlstamlsesta, 
sanoman lahetys- ja vastaanottotoimintojen suorittamisesta, tulkintaloh- 
kon kaynnistamisesta, sanoman valittSmisesta tulkintalohkon kasitelta- 
vaksi, jne. Nama kayttojarjestelmdtoiminnot ja niiden soveltaminen 

30 edella esitettyjen keksinnon edullisen suoritusmuodon mukaisen mene- 
telman yhteydessa ovat alan aslantuntijan sovellettavissa olevaa tek- 
niikkaa, joten niiden tarkempi kfisittely tass& yhteydessa ei ole tarpeen. 

On selvaa, etta nyt esilld olevaa keksintoa ei ole rajoitettu ainoastaan 
35 edella esitettyihin suoritusmuotoihin, vaan sita voidaan muunnella 
oheisten patenttivaatimusten puitteissa. 
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Patenttivaatimukset: 

1. Menetelma sanomien sisaltaman informaation esittamiseksi multi- 
mediapaatelaitteen (MS) kayttoliittymassa (Ul), jossa menetelmassa 

5 sanorna kasittaa ainakin yhden komponentin, ja joka sanoma valitetaan 
multimediapaatelartteeseen (MS) multimediasanomien valitysjarjestel- 
massa, tunnettu siita, etta menetelmassa muodostetaan esitysohjeisto 
(SMIL), joka sisaltaa ainakin yhden sanomaan liitetyn komponentin 
esittamiseen liittyvaa tietoa, etta mainittuun esitysohjeistoon (SMIL) 
10 liitetaan viittaus ainakin yhden komponentin esittamiseen liittyvan tie- 
don sijainnista mainitussa sanomassa, ja etta mainittu esitysohjeisto 
(SMIL) liitetaan mainittuun sanomaan. 

2. Patenttivaatimuksen 1 mukainen menetelma, tunnettu siita, etta 
15 mainittu esitysohjeisto muodostetaan sanoman lahettavassa paatelait- 

teessa (MS'). 

3. Patenttivaatimuksen 1 mukainen menetelma, tunnettu siita, etta 
mainittu multimediasanomien valitysjarjestelma kasittaa multimediasa- 

20 nomapalvelukeskuksen (MMSC), jossa paatelaitteelle (MS) osoitetut 
sanomat vastaanotetaan lahetettavaksi edelleen paatelaitteelle (MS), ja 
etta esitysohjeisto muodostetaan multimediasanomapalvelukeskuk- 
sessa (MMSC). 

25 4. Patenttivaatimuksen 1 , 2 tai 3 mukainen menetelma, tunnettu siita, 
etta mainittu esitysohjeisto muodostetaan kayttamalla SMIL-formaattia. 

5. Jonkin patenttivaatimuksen 1—4 mukainen menetelma, tunnettu 
siita, etta mainittu komponentin esittamiseen liittyva tieto kasittaa maini- 

30 tun komponentin. 

6. Jonkin patenttivaatimuksen 1—4 mukainen menetelma, tunnettu 
siita, etta mainittu komponentin esittamiseen liittyva tieto kasittaa maini- 
tun komponentin hakuosoitteen. 

35 

7. Jonkin patenttivaatimuksen 1 — 6 mukainen menetelma, jossa sano- 
man esittavan paatelaitteen (MS) kayttoliittyma (Ul) kasittaa ainakin 
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nayton, tunnettu siita., etta ainakin yksi komponentti sisaftaa visuaalis- 
ta informaatiota, jotloin mainittuun esitysohjeistoon liitetaan lisaksi tieto 
komponentin sijoittamisesta mainittuun nayttoon. 



saapunut: 17/ 1/ O 15:18; 
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5 8. Jonkin patenttivaatimuksen 1 — 7 mukainen menetelma, jossa sano- 
man esittavan paatelaitteen (MS) kayttoliittyma (Ul) kasittaa ainakin 
audiovalineet, tunnettu siita, etta ainakin yksi komponentti sisaltaa 
audioinformaatiota, jolloin mainittuun esitysohjeistoon liitetaan lisaksi 
tieto komponentin muuntamisesta audioinformaatioksi audiovalineissa. 

10 

9. Jonkin patenttivaatimuksen 1 — 8 mukainen menetelma, tunnettu 
siita, etta mainittuun esitysohjeistoon liitetaan lisaksi tieto komponentin 
vaikutusajasta, kuten kuvan tai tekstin nayttoaika tai aanen toistoaika. 

15 10. Patenttivaatimuksen 9 mukainen menetelma, tunnettu siita, etta 
sanoma kasittaa ainakin kaksi komponenttia, jolloin mainittuun 
esitysohjeistoon liitetaan lisaksi tieto komponenttien keskinaisesta tah- 
distuksesta. 



20 11. Jonkin patenttivaatimuksen 1 — 10 mukainen menetelma, tunnettu 
siita, etta sanoma kasittaa ainakin kaksi sivua, jolloin mainittuun esitys- 
ohjeistoon liitetaan tieto sivujen esitysjarjestyksesta. 

12. Multimediasanomien valitysjarjestelma joka kasittaa vali- 
25 neet (MMSC) sanomien valittamiseksi multimediapaatelaitteeseen 
(MS), joka kasittaa kayttoiiittyman (Ul) sanomien slsaltaman informaa- 
tion esittamiseksi, ja kukin sanoma kasittaa ainakin yhden komponen- 
tin, tunnettu siita, etta jaijestelma kasittaa valineet (MOO) esitysohjeis- 
ton (SMIL) muodostamiseksi sanomaan, joka esitysohjeisto (SMIL) 
30 kasittaa ainakin yhden sanomaan liitetyn komponentin esittamiseen 
liittyvaa tietoa, ettd mainittuun esitysohjeistoon (SMIL) on liitetty viittaus 
ainakin yhden komponentin esittamiseen liittyvan tiedon sijainnista 
mainitussa sanomassa, jolloin jaijestelma kasittaa valineet (COMP) 
mainitun esitysohjeiston (SMIL) liittamiseksi mainittuun sanomaan. 

35 
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13. Patenttivaatimuksen 10 mukainen muttimediasanomien valitysjar- 
jestelma, tunnettu siita, etta sanoman lahettava paatelaite (MS') 
kasittaa valineet (COMP) esitysohjeiston muodostamiseksi. 

5 14. Patenttivaatimuksen 10 mukainen sanomlen valitysjarjestelma, 
tunnettu siita, etta se kasittaa multimediasanomapalvelukeskuksen 
(MMSC), joka kasittaa valineet (MEM) multimediapaatelaitteelle (MS) 
osoitettujen sanomlen vastaanottamiseksi, valineet (MSG) sanomien 
lahettamiseksi edelleen multimediapaatelaitteelle (MS), ja vali- 
10 neet (COMP) esitysohjeiston muodostamiseksi. 

15. Patenttivaatimuksen 12, 13 tai 14 mukainen multimediasanomien 
valitysjarjestelma, tunnettu siita, etta mainittu esitysohjeisto on muo- 
dostettu kayttamalla SMIL-formaattia. 

15 

16. Jonkin patenttivaatimuksen 12 — 15 mukainen multimediasanomien 
valitysjarjestelma, jossa sanoman esittavan paatelaitteen (MS) 
kayttoliittyma (Ul) kasittaa ainakin nayton, tunnettu siita, etta ainakin 
yksi komponentti kasittaa visuaalista informaatiota, jolloin mainittuun 

20 esitysohjeistoon on liitetty lisaksi tieto komponentin sijoittamisesta 
mainittuun nayttoon. 

17. Jonkin patenttivaatimuksen 12 — 16 mukainen multimediasanomien 
valitysjarjestelma, jossa sanoman esittavan multimediapaatelait- 

25 teen (MS) kayttoliittyma (Ul) kasittaa ainakin audiovalineet, tunnettu 
siita, etta ainakin yksi komponentti kasittaa audioinformaatiota, jolloin 
mainittuun esitysohjeistoon on liitetty lisaksi tieto komponentin muun- 
tamisesta audioinformaatioksi audiovalineissa. 

30 18. Jonkin patenttivaatimuksen 12 — 17 mukainen multimediasanomien 
valitysjarjestelma, tunnettu siita, etta mainittuun esitysohjeistoon on 
liitetty lisaksi tieto komponentin vaikutusajasta, kuten kuvan tai tekstin 
nayttdaika tai aanen toistoaika. 

35 19. Jonkin patenttivaatimuksen 12 — 18 mukainen multimediasanomien 
valitysjarjestelma, tunnettu siita, etta sanoma kasittaa ainakin kaksi 
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multimediasivua, jolloin malnittuun esitysohjeistoon on liitetty tieto mul- 
timediasivujen esitysjarjestyksesta. 

20. Jonkin patenttivaatimuksen 12 — 19 mukainen multimediasanomien 
5 valitysjarjestelma, tunnettu siita, etta sanoma kasittaa ainakin kaksi 

multimediasivua, jolloin mainittuun esitysohjeistoon on liitetty tieto mul- 
timediasivujen esitysjarjestyksesta. 

21. Lahettava multimediapaatelalte (MS), joka kasittaa valineet (Ul) sa- 
10 nomien muodostamiseksi ainakin yhdesta komponentista, ja vali- 
neet (RF) sanomien lahettamiseksi, tunnettu siita, etta multimediapaa- 
telaite (MS) kasittaa lisaksi valineet (MOD) esitysohjeiston (SMIL) muo- 
dostamiseksi sanomaan, joka esitysohjeisto (SMIL) kasittaa ainakin yh- 
den sanomaan liitetyn kdmponentin esittamiseen liittyvaa tietoa, ja jo- 

15 hon esitysohjeistoon (SMIL) on liitetty viittaus ainakin yhden kompo- 
nentin esittamiseen liittyvan tiedon sijainnista mainltussa sanomassa. 

22. Vastaanottava multimediapaatelaite (MS), joka kasittaa vali- 
neet (RF) sanomien vastaanottamiseksi, ja kayttdliittyman (Ul) sano- 

20 mien sisaltaman informaation esittamiseksi, ja kukin sanoma kasittaa 
ainakin yhden komponentin, tunnettu siita, etta multimediapaatelaite 
(MS) kasittaa lisaksi valineet (MOD) sanomaan muodostetun esitysoh- 
jeiston (SMIL) tulkitsemiseksi, joka esitysohjeisto (SMIL) kasittaa aina- 
kin yhden sanomaan liitetyn komponentin esittamiseen liittyvaa tietoa, 

25 ja johon esitysohjeistoon (SMIL) on liitetty viittaus ainakin yhden kom- 
ponentin esittamiseen liittyvan tiedon sijainnista mainltussa sanomassa, 
jolloin multimediapaatelaite (MS) kasittaa valineet (COMP) mainitun 
esitysohjeiston (SMIL) selvittamiseksi mainitusta sanomasta. 

30 23. Patenttivaatimuksen 21 tai 22 mukainen multimediapaatelaite, 
tunnettu siita, etta se on langaton paatelaite (MS'). 
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Keksinnon kohteena on menetelmS sanomien sisalta- 
man informaation esittamiseksi paatelaitteessa (MS). 
Menetelmassa sanoma kasittaa ainakin yhden kompo- 
nentin. Sanoma valltetaan paatelaitteeseen (MS) multi- 
mediasanomien valitysjarjestelmassa. Menetelmassa 
muodostetaan esitysohjeisto (SMIL), joka sisaltaa kunkin 
sanomaan liitetyn komponentin esittamiseen liittyvaa 
tietoa. Mainittuun esitysohjeistoon (SMIL) liitetaan viit- 
taus kunkin komponentin sijainnista mainitussa sano- 
massa, ja mainittu esitysohjeisto (SMIL) liitetaan mainit- 
tuun sanomaan. 



Fig. 4a 
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1 



A method for presenting information contained in messages in a multi- 
media terminal, a system for transmitting multimedia messages, and a 
multimedia terminal 



The present invention relates to a method for presenting information 
contained in messages in a user interface of a multimedia terminal, in 
which method a message contains at least one component, and which 
message is transmitted to the multimedia terminal in a system for 
transmitting multimedia messages. The invention also relates to a sys- 
tem for transmitting multimedia messages, comprising means for 
transmitting a message to a multimedia terminal which comprises a 
user interface for presenting information contained in the messages, 
and each message contains at least one component. Furthermore, the 
invention relates to a transmitting multimedia terminal which comprises 
means for forming messages of at least one component, and means for 
transmitting the messages. The invention also relates to a receiving 
multimedia terminal which comprises means for receiving messages, 
and a user interface for presenting information contained in the mes- 
sages, and each message contains at least one component. 

Wireless communication networks and the Internet network expand 
fast, and the number of their users is increasing. It is possible to intro- 
duce Internet services in digital mobile stations of wireless communica- 
tion networks, such as so-called media phones, for example by the 
WAP technology. The WAP (Wireless Application Protocol) is an open 
standard which is designed to support globally a majority of digital 
mobile communication networks, such as the GSM (Global System for 
Mobile communications), GPRS (General Packet Radio Service), PDC 
(Personal Digital Cellular), CDMA IS-95 (Code Division Multiple 
Access), TDMA IS-136 (Time Division Multiple Access), and third gen- 
eration networks, such as the WCDMA (Wideband CDMA) and 
CDMA-2000. Because the WAP system was developed only recently 
and because the specifications of the WAP system define in some 
cases only the framework for different implementations, there are no 
known solutions for implementing certain functions of the WAP system. 



In the WAP system (Fig. 1), the terminal using the WAP protocol for 
external communication, the wireless terminal MS (wireless terminal, 
mobile station), here a so-called WAP terminal, can communicate with 
a server 20 in the Internet network. One example to be mentioned of 
such a wireless terminal available as a WAP terminal is Nokia 71 1 0. 
The display of the WAP terminal is relatively small, which restricts the 
quantity of information to be displayed on the display at a time. This 
causes problems e.g. when browsing Internet home pages which are 
typically designed to be presented on the display of an ordinary 
computer. 

The connection between the WAP terminal and the Internet network is 
implemented by a WAP gateway 15 which functions as a means for 
transmitting messages between the WAP terminal MS and the Internet 
network 18. If necessary, the WAP gateway 15 converts the messages 
addressed by the WAP terminal MS to the Internet network 18 to mes- 
sages complying with an Internet protocol, such as the TCP/IP protocol 
(Transmission Control Protocol / Internet Protocol). In a corresponding 
way, messages addressed from the Internet network 1 8 to the WAP 
terminal MS in the wireless network 12 are converted, if necessary, in 
the WAP gateway 16 to messages complying with the WAP protocol 
(e.g. WSP, Wireless Session Protocol). The WAP terminal MS can be, 
per se, any device which uses the WAP protocol for external communi- 
cation, such as a mobile station of a cellular network or a computer 
terminal communicating with the wireless network 12 for example via a 
mobile station of a cellular network. Communication forms supported by 
the WAP and intended for the transmission of information over the 
radio channel are called bearers. In the different networks supported by 
the WAP, these include e.g. short messages (SMS, Short Message 
Service), data calls (CSD, Circuit Switched Data) and packet radio or 
GPRS services, the USSD service (Unstructured Supplementary Serv- 
ice Data), as well as other bearers defined in the WAP specifications. 

With respect to the protocols, the WAP system is a hierarchical system. 
Both the WAP terminal and the WAP gateway comprise a WAP proto- 
col stack to be implemented by means of software, comprising certain 
WAP protocol layers. The WAP protocol layers include e.g. the WAE 
layer (Wireless Application Environment), the WAP layer (Wireless 



Session Protocol), the WTP layer (Wireless Transaction Protocol), and 
the WDP layer (Wireless Datagram Protocol). The corresponding WAP 
protocol layers of the WAP terminal and the WAP gateway communi- 
cate with each other to implement reliable data transmission between 
the WAP terminal and the WAP gateway over the defined bearer. 

Users of a computer terminal communicating with the Internet network 
have already for a long time had the chance to retrieve multimedia 
components, such as short video clips and audio clips in electrical for- 
mat. As the transmission rates are increased and the properties of 
mobile stations are improved, interest in the service of transmitting a 
multimedia message has now arisen also in the mobile network. How- 
ever, for example in connection with the WAP system, no solution has 
been presented so far to implement displaying of the multimedia 
message. 

In the Internet network, it is known to use the hypertext markup lan- 
guage (HTML) which can be used for presenting e.g. the location, con- 
tent, colour and size for multimedia information to be presented on 
Internet pages. However, the HTML language does not offer a possibil- 
ity to determine the time of effect of multimedia components, such as 
the time of displaying a text or the time of playing a sound. Further- 
more, with the presently known versions of the HTML language, it is not 
possible to define transparency presentations in which the multimedia 
presentation consists of several pages. However, to make the presen- 
tation of various advertisements and other information more effective, 
there is a need to produce e.g. variable parts in the content of pages as 
well as a need to combine several pages to one presentation. Recently, 
some solutions have been developed, such as the JAVA programming 
language, whereby it is possible to implement variable effects of some 
kind. In view of WAP terminals, however, it is one drawback of such 
solutions that their implementation requires a relatively large processing 
and storage capacity in the terminal. This restricts the introduction of 
the JAVA programming language particularly in portable terminals. In 
presentations implemented with the JAVA programming language, it is 
not only the actual presentation information but also the JAVA program 
for presenting the information that is transmitted. 



4 



A fast increase in the use of portable multimedia terminals increases 
the need to implement versatile messages, such as multimedia 
messages, in a multimedia terminal. 

5 It is an aim of the present invention to provide a method for presenting 
messages and a multimedia terminal for presenting messages. The 
method according to the present invention is characterized in that in the 
method, a presentation model is formed to contain information related 
to at least one component connected with the message, that said pres- 
1 0 entation model is supplemented with a reference to the location of data 
related to presenting at least one component in said message, and that 
said presentation model is added to said message. The system for 
transmitting multimedia messages according to the present invention is 
characterized in that the system comprises means for forming a 

15 presentation model in the message, the presentation model comprising 
information related to presenting at least one component in said 
message. The transmitting multimedia terminal according to the 
present invention is characterized in that the multimedia terminal also 
comprises means for forming a presentation model in the message, 

20 which presentation model comprises information related to presenting 
at least one component added in the message, and which presentation 
model is supplemented with a reference to the location of information 
related to presenting at least one component in said message. 
Furthermore, the receiving multimedia terminal according to the present 

25 invention is characterized in that the multimedia terminal also 
comprises means for interpreting a presentation model formed in a 
message, which presentation model comprises information related to 
presenting at least one component, and which presentation model is 
supplemented with a reference to the location of information related to 

30 presenting at least one component in said message, wherein the 
multimedia terminal comprises means for finding out said presentation 
model from said message. The invention is based on the idea that the 
presentation parameters of the components added to the messages 
are added to the message, and these parameters are formed on a 

35 description language. 

With the present invention, significant advantages are achieved in 
comparison with solutions of prior art. When applying the method 



according to the invention, a wireless multimedia terminal can be used 
to present messages, and the messages can also be supplemented 
with components varying in time. The implementation of this does not 
require such a large processing and storage capacity as when solutions 
of prior art are used. Furthermore, the method according to the inven- 
tion can be used to form presentations consisting of several pages to 
be presented in a multimedia terminal. 

In the following, the invention will be described in more detail with ref- 
erence to the appended drawings, in which 

Fig. 1 shows a model of the WAP system according to prior art, 

Fig. 2 illustrates the implementation of the method according to a 
preferred embodiment of the invention in the WAP system, 

Fig. 3 illustrates the implementation of essential parts of a mobile 
station implementing the method according to the invention, 

Fig. 4a shows, in a block chart, functional blocks of setting up a 
multimedia message in a transmitting multimedia terminal, 

Fig. 4b shows, in a block chart, functional blocks of interpreting a 
multimedia message in a receiving multimedia terminal, 

Fig. 5a shows the rough structure of a notification message, 

Fig. 5b shows the rough structure of a connection set-up message, 

Fig. 6a shows an example of a multimedia page, 

Fig. 6b shows the rough structure of a multimedia message formed 
by the method according to a preferred embodiment of the 
invention, and 

Fig. 6c shows another rough structure of a multimedia message 
formed by the method according to a preferred embodiment 
of the invention. 



In the following, the invention will be described by using as examples 
multimedia messages with one or several multimedia components. 
However, the invention is not limited solely to multimedia messages, 
but the messages used can also be other messages with one or sev- 
eral components. Moreover, this component does not need to be a 
multimedia component but it can also be another component containing 
information. 

Figure 3 illustrates parts which are essential for the operation of a 
mobile terminal MS applying the method according to a preferred 
embodiment of the invention. The mobile terminal MS comprises a 
processor MPU and parts functionally coupled with the processor: a 
memory MEM, a user interface Ul and a radio part RF. The processor 
MPU is preferably a microprocessor, a microcontroller or a digital signal 
processor (DSP). The memory MEM preferably comprises a non-vola- 
tile memory (ROM, read only memory) and a read-alter storage (RAM, 
random access memory). The radio part RF can transmit radio fre- 
quency signals, such as messages complying with the WAP protocol, 
and receive radio frequency signals, such as multimedia messages, via 
an antenna ANT. The user interface Ul preferably offers the user a 
display and a keyboard for using the mobile terminal MS. 

The software of the mobile terminal MS, including the software relating 
to setting up and presenting multimedia messages, is typically stored in 
a non-erasable memory. On the basis of the software, the processor 
MPU controls the operation of the mobile terminal MS, such as the use 
of the radio part RF, the presentation of the messages with the user 
interface Ul, and the reading of input received from the user interface 
Ul. The user interface Ul preferably comprises a display DP, a key- 
board KB and audio means AUDIO. The software, which can be 
implemented in a variety of ways, preferably comprises program blocks 
which are responsible for implementing the different operations. These 
operations include e.g. the operations related to displaying multimedia 
components contained in multimedia message to the user, as well as 
the operations related to transmitting and receiving messages. The 
multimedia message transmission service is implemented in the mobile 
terminal MS by the processor MPU together with the software and 



memory MEM of the mobile terminal. The read-alter storage is used by 
the processor MPU as a temporary buffer memory during data process- 
ing. 

The WAP system according to Fig. 1 is presented above in connection 
with the description of prior art. The appended Fig. 2 illustrates the 
service of transmitting multimedia messages in a situation in which a 
mobile terminal MS using the WAP protocol for external communication 
has subscribed the multimedia message transmission service from a 
multimedia message service center MMSC. The multimedia message 
service center MMSC is a network element, a server, which can be 
located e.g. in a cellular network or in the Internet network. The multi- 
media message service center MMSC operates in the multimedia mes- 
sage transmission service as a means which stores a multimedia mes- 
sage addressed to a mobile terminal MS in its memory. The multimedia 
message service center MMSC transmits a notification message about 
the arrival of a multimedia message to the mobile terminal MS when it 
is available. 

The multimedia message service center MMSC communicates with the 
mobile terminal MS via a WAP gateway 1 5. Physically, the multimedia 
message service center MMSC is preferably located in the same part of 
the Internet network as the WAP gateway 15. Communication between 
the multimedia message service center MMSC and the WAP gateway 
15 is typically implemented according to the protocols of the Internet 
networks (IP protocols). These include e.g. TCP/IP and HTTP 1.1. 

When a multimedia message containing one or several multimedia 
components and addressed to a mobile station MS which has sub- 
scribed the multimedia message transmission service from the multi- 
media message service center MMSC, is received at the multimedia 
message service center MMSC, it stores the multimedia message in its 
memory and transmits a notification message 30 to the mobile terminal 
to notify about the stored multimedia message. After this, the user of 
the mobile terminal MS can retrieve the multimedia message at the 
best moment of time, or the message can be transmitted to the mobile 
terminal MS automatically without operations by the user. The 
multimedia components can be e.g. text, images, photographs, audio 



clips, or video clips in electrical form. One multimedia message can 
also contain multimedia components of different types. 

In an advantageous embodiment of the invention for implementing the 
notification message 30, a content type which is here referred to as 
MMN (multimedia message notification) is used in the WAP system. 
The MMN is a content type which is defined in such a way that it allows 
the transmission of data both in text format and in binary format in the 
same content type. The MMN content type is preferably allocated an 
Internet compatible presentation form in the XML format (extensible 
markup language) and binary format complying with WAP binary cod- 
ing. One possible rough structure of the notification message 30 of the 
MMN type is presented in the appended Fig. 5a in which the notification 
message 30 comprises a general information part 36, fields 37 for 
expressing the properties of the multimedia components (two in the 
example of Fig. 5a) contained in the multimedia messages. 

Figure 4a shows, in a reduced block chart, the setting up of multimedia 
messages in the transmitting device, such as a multimedia termi- 
nal MS', and Fig. 4b shows the presentation of multimedia messages in 
a multimedia terminal, such as a mobile terminal MS. The setting up of 
multimedia messages is presented by a modification block MOD which 
can be e.g. the user interface Ul of the terminal. It contains the neces- 
sary functions to present and edit multimedia components, such as 
images, text, audio and/or video. Thus, the person setting up a multi- 
media presentation can construct a multimedia page by compiling the 
desired multimedia components, by editing them, if necessary, and by 
placing them in the desired locations. The multimedia components are 
stored e.g. as files which can be retrieved for example from the memory 
means MEM of the multimedia terminal MS, such as from a fixed disk 
(not shown), or from the Internet network, e.g. from a server 20, or 
multimedia components can be built up for example by writing desired 
text, taking pictures with a camera, recording sounds, etc. Figure 6a 
shows an example of such a multimedia page. The multimedia 
page MP of Fig. 6a comprises a picture PIC1 placed in the middle of 
the page and stored e.g. in a file "PIC1 .jpg" and above the picture a text 
line TXT1 which is stored e.g. in a file "TXT1 .txt". 



After the multimedia page has been edited to the desired format, it is 
transferred to a compiling block COMP to form a multimedia file. This 
multimedia file is used to store information about the components which 
it contains as well as a model for presenting the components in a 
desired way in the multimedia terminal of the receiver. The compilation 
file forming the compiling block COMP is preferably stored in the mem- 
ory means MEM of the device setting up the message, such as the 
multimedia terminal. In this preferred embodiment of the invention, the 
format used in the compilation file is the SMIL format (synchronized 
multimedia integration language), known per se. The compilation file is 
preferably stored as a text file, such as SMIL1 .text, but it can also be 
stored in another format, e.g. in binary form. The content of the compi- 
lation file formed of an example of the multimedia page of Fig. 5a is, in 
the SMIL format, the following: 

<smil> 
<head> 
<layout> 

<root-layout width="160" height="1607> 
<region id="up" width="160" height="20" left="0" top="107> 
<region id="center" width="160" height="120" left="0" top="407> 
</layout> 

</head> 

<body> 

<img src=" PIC1.jpg" region="center7> 
<text src=" TXT1 .txt" region="up"/> 
</body> 
</smil> 

The texts indicated within tags are data types according to the SMIL 
format as well as parameters possibly related thereto. In the data file, 
there is first a <smil> data type which informs that it is a compilation file 
SMIL complying with the SMIL format in question. Next, presentation 
parameters are defined, such as the width (width=160) and height 
(height=160) of the display field, as well as two named fields of this 
display field, their size and location: "up" and "center". The width of the 
field "up" is defined as 160 and the height as 20. In addition, the loca- 
tion of the upper left corner of this field is determined as 0 in the hori- 
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zontal direction (left edge) and 10 in the vertical direction. The meas- 
urement units are preferably pixels, but also other units can be used, 
such as percentages of the size of the display field. The width of the 
field "center" is defined as 160, the height as 120 and the location of 
the upper left corner as 0, 40. This presentation parameter is followed 
by a data part (body) indicating which multimedia components the page 
contains and where they can be found. Further, of the visual compo- 
nents (image, video, text), it is indicated in which location on the page 
they are placed. Consequently, this example contains two files of which 
the image file is placed in the field "center" and the text file in the field 
"up". 

This compilation file SMIL and the components related thereto is 
transferred to the receiver by means of a multimedia message. This is 
formed in the method according to a preferred embodiment of the 
invention in the following way. In the transmitting multimedia terminal 
MS', the compilation file SMIL is transferred to a message set up block 
MSG. Of the memory MEM, a space is reserved for a message buffer 
SBUF in which the multimedia message to be transmitted is formed. 
Figure 6b shows an example of such a multimedia message in a 
reduced view. At the beginning of the multimedia message, or in 
another determined location in the multimedia message, a header HDR 
is added, containing e.g. address data of the receiver of the message, 
address data of the transmitter, and a reference REF to the location of 
the compilation file in the message to be formed. In addition to the 
header, the data field D of the message is supplemented with multi- 
media components, which in this example are an image file and a text 
file. The files are added either as such, or they can be compressed or 
converted to another format. Thus, the message preferably indicates in 
which format the files are attached, so that it is possible at the receiving 
multimedia terminal to perform the corresponding inverse operation to 
the conversion, to restore the original data format. Furthermore, the 
multimedia message is supplemented with a compilation file. At this 
stage, references to multimedia component files possibly existing in the 
compilation file are converted to references to the respective multi- 
media components in this message. In Fig. 6b, arrows R1 and R2 indi- 
cate these internal references in the message. 
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In the multimedia message, it is also possible to transmit multimedia 
presentations consisting of several multimedia pages. For each page, a 
separate compilation file is preferably formed, in which the presentation 
model of the respective page is attached. Such multimedia presenta- 
tions contain for example various images and texts which the receiver 
of the message can browse either in a certain order or in a desired 
order. Thus, the multimedia page is provided with links or references to 
the next page, the previous page, the beginning, and/or the end. These 
references are also stored in the compilation files. Thus, when setting 
up the multimedia message, these references are converted to corre- 
spond to the location of the components of the respective page in the 
message. Figure 6c shows an example of such a multimedia message. 
It consists of two multimedia pages, the corresponding compilation files 
being indicated with the references SMIL1 and SMIL2, of which the first 
contains a reference (arrow R3) to another page. The components of 
these pages (references indicated with arrows R1 — R5) and the compi- 
lation files are also attached to this message. It is obvious that the 
references on different pages can also be directed to the same compo- 
nent. 

Instead of information contained in the multimedia component, the 
presentation model can be supplemented with a search address at the 
stage when the content of the multimedia message is presented in the 
receiving terminal. 

After the multimedia message is ready to be transmitted, the 
multimedia message is transmitted in a way known as such to the 
multimedia message service center MMSC. From the address data of 
the message, the multimedia message service center MMSC examines 
to which mobile terminal MS the message in question is intended. The 
address data can be e.g. a phone number, an IP address or URL 
(Uniform Resource Locator). When the terminal to receive the message 
is found out, the multimedia message service center MMSC transmits a 
notification message 30 via the WAP gateway 15 to the mobile terminal 
MS, to notify about the arrival of a multimedia message addressed to 
the mobile terminal MS at the multimedia message service center 
MMSC. 
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The notification message 30 is preferably transmitted by using a so- 
called connectionless service supported e.g. by the WAP. In a connec- 
tionless service, such as the short message service (SMS) known from 
the GSM system, the transmission of a message to the receiver does 
not require setting up of a connection. In the present transmission of 
multimedia messages to a wireless terminal MS according to the inven- 
tion, however, a connection oriented service is preferably used. 

The multimedia message service center MMSC can examine which 
multimedia components are contained in the message and compare 
them with the multimedia properties of the receiving terminal MS. Thus, 
in some applications, the multimedia message service center MMSC 
can leave such components which the receiving multimedia terminal 
MS is not capable of processing, untransmitted. In this context, how- 
ever, it is assumed that all the components of the multimedia message 
are transmitted to the receiving multimedia terminal MS. 

After receiving said notification message 30, the mobile terminal MS 
first starts to set up a connection to the multimedia message service 
center MMSC (WAP WSP CONNECT), if there is no connection 
between the mobile terminal MS and the multimedia message service 
center MMSC at the moment. Connection set-up is typically performed 
in such a way that the wireless terminal MS opens a WSP session with 
the WAP gateway 15 in a way known as such, and the WAP gateway 
15 further opens e.g. an IP connection to the multimedia message 
service center MMSC. Information about the gateway selected by the 
mobile terminal MS and to be thus used in the WSP session is 
transmitted from the wireless terminal MS in a way known from the 
WAP as a bearer indication value in the WSP header field. During 
opening the WSP session, said information is transmitted during 
communication between the mobile terminal MS and the WAP 
gateway 15 e.g. in a connection set-up message 40 (Fig. 5b). 

Information 42 required for setting up a session is transmitted in the 
connection set-up message 40. The multimedia message service 
center MMSC receives the connection set-up message 40. The multi- 
media message service center MMSC replies to the connection set-up 
message with an acknowledgement message, in which the mobile ter- 
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minal MS is notified if it is possible to set up a connection. Connection 
set-up can fail for example when the user of the terminal addressed as 
the receiver of the multimedia message has no subscriber contract with 
the multimedia message service, the phone line is closed e.g. because 
of unpaid bills, etc. 

After a connection has been set up, it is possible to start the transmis- 
sion of the multimedia message from the multimedia message service 
center MMSC to the mobile terminal MS. To optimize the radio re- 
sources, the mobile terminal MS can select the transmission path which 
is most expedient for the transmission of each different multimedia 
component. 

After the receiving multimedia terminal MS has received the multimedia 
message, the message is processed. At the receiving stage, the mes- 
sage is dismantled in a receiving block RMSG and preferably stored in 
a message buffer RBUF formed in the memory MEM. The processing 
of the message takes place e.g. in an interpretation block IP formed in 
the application software of the processor MPU. The multimedia proper- 
ties of the multimedia terminal, such as the display resolution, colour 
properties, audio properties, etc. are transferred to the interpretation 
block IP. 

From the header of the message, the interpretation block IP examines 
the reference to the location of the compilation file and starts to process 
the compilation file. At this stage, the substantially inverse operations 
with respect to the compilation stage are executed. The parameters of 
the compilation file disclose the presentation parameters of the multi- 
media message which are compared by the interpretation block IP with 
the multimedia properties of the multimedia terminal MS to find out if 
the multimedia message contains such components which cannot be 
presented in the multimedia terminal MS. In this case, such compo- 
nents can be by-passed. 

After finding out the presentation parameters and comparing the prop- 
erties, the interpretation block IP processes the data part, i.e. the mul- 
timedia components. With the above-presented example as the compi- 
lation file, the data part consists of an image component and a text 




component. Thus, the interpretation block IP examines the references 
to these components in the compilation file. The data of the image 
component are transferred by the interpretation block IP from the mul- 
timedia message to an image memory DM EM which is preferably 
5 formed in the memory means MEM of the mobile terminal, in a space 
which corresponds to the presentation location of the image defined in 
the compilation file. The text file is transferred by the interpretation 
block IP to a display driver (not shown), in which the text is converted to 
corresponding visual, information (text) on the display DP of the user 
10 interface Ul. In the case of a possible audio component, the interpreta- 
tion block IP transfers the audio information to the audio means AUDIO 
of the user interface, where the audio information is converted to an 
audible sound In a way known perse. 

15 In the processing of such multimedia messages which contain several 
multimedia pages, the procedure is the following. The interpretation 
block IP searches for the data of the page to be presented first and 
interprets the page in the way described above. After this, the interpre- 
tation block remains waiting for a command to change the page, 

20 entered e.g. by the user with the keyboard KB of the user interface Ul. 
After the command to change the page, the interpretation block 
searches for the data of the next page and interprets that, etc. On the 
other hand, the change of the pages can also be automated by defining 
a display time for each page. Thus, time is measured in the multimedia 

25 terminal MS, and after the expiry of the display time, the interpretation 
block IP is notified of the command to change the page. 

In a multimedia presentation, a component can also be allocated a time 
of effect, such as a time to display an image or a text or a time to repeat 

30 a sound. Furthermore, various components can be synchronized with 
each other in time. In such situations, the compilation file is also sup- 
plemented with data about the time of effect for a component and, if 
necessary, also data about the mutual synchronization of various 
components, e.g. the moment of starting to present a component with 

35 respect to the moment of starting the presentation of a page. 

The above description dealt with an advantageous embodiment of the 
invention, in which the presentation model was formed in the terminal 



15 



MS' which transmitted a message; however, the invention can also be 
applied in such a way that the presentation model is compiled at the 
multimedia message service center MMSC before transmitting the 
message to the receiving terminal MS. Also in this case, the multimedia 
presentation can be set up in the transmitted terminal MS', from which 
information about the content of the multimedia presentation for compil- 
ing the presentation model is transmitted to the multimedia message 
service center MMSC. 

It is obvious that the above description presented only a limited group 
of a variety of possible multimedia messages, but the present invention 
is not restricted solely to the examples presented herein. 

The invention can also be implemented in software by making the nec- 
essary modifications in the program code in the mobile terminal MS 
and, if necessary, also in the multimedia message service center 
MMSC. The computer software products in question can be stored on a 
data means, for example in a memory, they can be transferred and they 
can be run for example in a computer or in the microprocessor of a 
mobile phone. 

The multimedia terminal MS, MS' can also implement operating system 
functions. The operating system is implemented as program commands 
of the processor. The operating system is primarily responsible for the 
controls, timings, supervision, etc. of the functions of the multimedia 
terminal MS, MS'. In addition, the operating system takes care of start- 
ing the operation of the compiling block, performing the functions of 
transmitting and receiving the message, starting the interpretation 
block, transferring the message to be processed by the interpretation 
block, etc. These operating system functions and their application in 
connection with the method according to a preferred embodiment of the 
invention are prior art applicable to anyone skilled in the art, wherein 
their more detailed discussion will not be necessary in this context. 

It is obvious that the present invention is not limited solely to the 
embodiments presented above, but it can be modified within the scope 
of the appended claims. 
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Claims : 

1. A method for presenting information contained in messages in a 
user interface (Ul) of a multimedia terminal (MS), in which method the 
message comprises at least one component, and which message is 
transmitted to the multimedia terminal (MS) in a multimedia message 
transmission system, characterized in that in the method, a presenta- 
tion model (SMIL) is formed to contain information related to at least 
one component connected with the message, that said presentation 
model is supplemented with a reference to the location of data related 
to presenting at least one component in said message, and that said 
presentation model (SMIL) is added to said message. 

2. The method according to claim 1 , characterized in that said pres- 
entation model is set up in the terminal (MS') which transmits the mes- 
sage. 

3. The method according to claim 1 , characterized in that said 
multimedia message transmission system comprises a multimedia 
message service center (MMSC), in which messages addressed to the 
multimedia terminal (MS) are received to be transmitted further to the 
multimedia terminal (MS), and that the presentation model is set up in 
the multimedia message service center (MMSC). 

4. The method according to claim 1 , 2 or 3, characterized in that 
said presentation model is formed by using the SMIL format. 

5. The method according to any of the claims 1 to 4, characterized 
in that said data related to presenting the component comprises said 
component. 

6. The method according to any of the claims 1 to 4, characterized 
in that said data related to presenting the component comprises the 
search address of said component. 

7. The method according to any of the claims 1 to 6, characterized 
in that the user interface (Ul) of the terminal (MS) for presenting the 
message comprises at least a display, characterized in that at least 
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one component comprises visual information, wherein said presentation 
model is also supplemented with information about placing the compo- 
nent on said display. 

8. The method according to any of the claims 1 to 7, characterized 
in that the user interface (Ul) of the terminal (MS) for presenting the 
message comprises at least audio means, characterized in that at 
least one component comprises audio information, wherein said pres- 
entation model is also supplemented with data about converting the 
component into audio information in the audio means. 

9. The method according to any of the claims 1 to 8, characterized 
in that said presentation model is also supplemented with information 
about the time of effect of the component, such as a display time of an 
image or a text, or a time of repeating a sound. 

10. The method according to claim 9, characterized in that the mes- 
sage comprises at least two components, wherein said presentation 
model is also supplemented with information about the mutual syn- 
chronization of the components. 

11. The method according to any of the claims 1 to 10, characterized 
in that the message comprises at least two pages, wherein said presen- 
tation model is supplemented with data about the order of presenting 
the pages. 

12. A system for transmitting multimedia messages, comprising means 
(MMSC) for transmitting a message to a multimedia terminal (MS) 
which comprises a user interface (Ul) for presenting information con- 
tained in the messages, and each message contains at least one com- 
ponent, characterized in that the system comprises means (MOD) for 
forming a presentation model (SMIL) in the message, the presentation 
model (SMIL) comprising information related to presenting at least one 
component in said message, that said presentation model (SMIL) is 
supplemented with a reference to the location of data related to pre- 
senting at least one component in said message, wherein the system 
comprises means (COMP) for attaching said presentation model (SMIL) 
in said message. 
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13. The system for transmitting multimedia messages according to 
claim 12, characterized in that the terminal (MS') which transmits the 
message comprises means (COMP) to set up the presentation model. 

14. The system for transmitting multimedia messages according to 
claim 12, characterized in that it comprises a multimedia message 
service center (MMSC) which comprises means (MEM) for receiving 
messages addressed to the multimedia terminal (MS), means (MSG) 
for transmitting the messages further to the multimedia terminal (MS), 
and means (COMP) for setting up a presentation model. 

15. The system for transmitting multimedia messages according to 
claim 12, 13 or 14, characterized in that said presentation model is 
formed by using the SMIL format. 

16. The system for transmitting multimedia messages according to any 
of the claims 12 to 15, in which the user interface (Ul) of the terminal 
(MS) presenting the message comprises at least a display, character- 
ized in that at least one component comprises visual information, 
wherein said presentation model is also supplemented with data about 
placing the component on said display. 

1 7. The system for transmitting multimedia messages according to any 
of the claims 12 to 16, in which the user interface (Ul) of the terminal 
(MS) presenting the message comprises at least audio means, charac- 
terized in that at least one component comprises audio information, 
wherein said presentation model is also supplemented with data about 
converting the component into audio information in audio means. 

1 8. The system for transmitting multimedia messages according to any 
of the claims 12 to 17, characterized in that said presentation model 
is also supplemented with information about the time of effect of the 
component, such as the time of displaying an image or a text, or the 
time of repeating a sound. 

19. The system for transmitting multimedia messages according to any 
of the claims 12 to 18, characterized in that the message comprises 
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at least two multimedia pages, wherein said presentation model is sup- 
plemented with information about the order of presenting the multi- 
media pages. 

20. The system for transmitting multimedia messages according to any 
of the claims 12 to 19, characterized in that the message comprises 
at least two multimedia pages, wherein said presentation model is sup- 
plemented with information about the order of presenting the multi- 
media pages. 

21. A transmitting multimedia terminal (MS) which comprises means 
(Ul) for forming messages of at least one component, and means (RF) 
for transmitting the messages, characterized in that the multimedia 
terminal (MS) also comprises means (MOD) for forming a presentation 
model (SMIL) in the message, which presentation model (SMIL) com- 
prises information related to presenting at least one component added 
in the message, and which presentation model (SMIL) is supplemented 
with a reference to the location of information related to presenting at 
least one component in said message. 

22. A receiving multimedia terminal (MS) which comprises means (RF) 
for receiving messages, and a user interface (Ul) for presenting infor- 
mation contained in the messages, and each message contains at least 
one component, characterized in that the multimedia terminal (MS) 
also comprises means (MOD) for interpreting a presentation model 
(SMIL) formed in a message, which presentation model (SMIL) com- 
prises information related to presenting at least one component, and 
which presentation model (SMIL) is supplemented with a reference to 
the location of information related to presenting at least one component 
in said message, wherein the multimedia terminal (MS) comprises 
means (COMP) for finding out said presentation model (SMIL) from 
said message. 

23. The multimedia terminal according to claim 21 or 22, character- 
ized in that it is a mobile terminal (MS'). 
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Abstract 



The invention relates to a method for presenting information contained 
in messages in a terminal (MS). In the method, the message comprises 
at least one component. The message is transmitted to a terminal (MS) 
in a system for transmitting multimedia messages. In the method, a 
presentation model (SMIL) is formed to contain information related to 
the presentation of each component attached in the message. Said 
presentation model (SMIL) is supplemented with a reference about the 
location of each component in the message, and said presentation 
model (SMIL) is attached to said message. 
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